В первой части статьи о файлах журнала VMware ESX (логах) мы описали их размещение и назначение. Но поскольку готовящаяся к выходу платформа VMware vSphere 5 будет построена только на базе платформы VMware ESXi (см. нашу серию статей), то сегодня мы поговорим о том, где находятся логи ESXi и как их можно посмотреть.
Если открыть консоль ESXi через консоль Tech Support Mode или по SSH мы можем увидеть следующую структуру основных логов:
/var/log/vmware/hostd.log – это лог службы хоста VMware ESXi (host daemon - служба, управляющая хостом)
/var/log/vmware/vpx/vpxa.log – лог агента vCenter (который управляет через агент хоста). Этого лога не будет если ESXi работает не под управлением vCenter.
/var/log/messages – Syslog Log (это комбинация логов vmkernel и hostd)
/var/log/sysboot.log - System boot log (лог загрузчика хоста)
/var/log/vmware/aam/vmware_<hostname>-xxx.log - Automatic Availability Manager (AAM) logs (лог агента VMware HA). Этого лога не будет если ESXi работает не под управлением vCenter.
NB: Обратите внимание, что при установке VMware ESXi по умолчанию логи хранятся в разделе Scratch Partition, который находится в памяти в виде RAM-диска. После перезагрузки хоста - они будут удалены, если вы не настроили этот раздел для хранения, в том числе, логов.
Теперь как эти логи на ESXi можно посмотреть. Есть аж 5 способов.
1. Через DCUI (Direct Console User Interface).
В главном меню System Customization, куда вы попадаете по кнопке F2 на самом сервере, выберите пункт "View System Logs":
Также в DCUI можно по комбинации клавиш Alt+F12 увидеть лог vmkernel.
Также вы можете зайти в консоль и перейти в папку с логами (/var/logs):
2. Через веб-браузер.
Просто наберите в адресной строке https://<esxi ip address>/host, после чего введите имя пользователя и пароль root.
3. Использование Syslog-сервера для VMware ESXi.
Вы можете настроить Syslog-сервер для ваших хостов ESXi в целях организации удаленного логирования. Для этих целей вполне можно использовать бесплатный продукт vSphere Management Assistant (vMA). Подробно это описано тут:
Кстати, по умолчанию сообщения логов vpxa и hostd (/var/log/vmware/vpx/vpxa.log и /var/log/vmware/hostd.log) дублируются в /var/log/messages. Если вы хотите это отключить (чтобы там было меньше флуда), используйте вот эту заметку.
Продолжаем вас знакомить с решением vGate 2 от компании Security Code, которая является нашим спонсором (вот тут описано решение, а вот тут - специальный раздел о продукте). Вкратце: vGate 2 позволяет защиту объектов VMware vSphere от несанкционированного доступа, а самое главное - позволяет автоматически настроить среду VMware vSphere (хосты ESX и виртуальные машины) в соответствии со стандартами и регламентами по обеспечению безопасности виртуальных инфраструктур (это экономит деньги). Кстати, недавно вышла версия vGate 2.3 с поддержкой VMware ESXi.
Сегодня мы поговорим о мониторинге и аудите событий информационной безопасности, происходящих в виртуальной инфраструктуре VMware vSphere. Надо сказать, что для тех компаний, которые заботятся о безопасности своих виртуальных серверов, анализировать стандартные логи, которые дает ESX и vCenter весьма муторно:
На хостах ESX структура логов (откуда мы и можем выделить события ИБ) такова:
/var/log/messages – Syslog Log (это комбинация логов vmkernel и hostd)
Вручную разгребать и анализировать всю эту пачку весьма трудозатратно, поэтому vGate 2 дает вам возможность сделать это удобно из центральной консоли в едином Журнале событий. Но vGate 2 - это не обработчик логов на хостах VMware ESX / ESXi. За счет собственных агентов на хост-серверах он сам регистрирует все события, относящие к информационной безопасности инфраструктуры виртуализации. Это именно те события, аудит которых позволяет своевременно обнаружить и пресечь попытки несанкционированного доступа.
События безопасности регистрируются на всех серверах ESX, на которых установлены компоненты защиты vGate (агенты), а затем пересылаются на сервер авторизации для централизованного хранения. Регистрируются как события несанкционированного доступа к объектам vSphere, так и правомочные события.
Если открыть одно события из списка, мы увидим нечто подобное (доступно полное детальное описание - кто сделал, что, когда и с какого хоста):
События имеют следующие характеристики:
vGate 2 отслеживает те события, которые могут тем или иным образом повлиять на безопасность виртуальной инфраструктуры. Как примеры таких событий можно привести следующее:
Также, помимо основных событий, vGate 2 регистрирует еще и события, связанные с нарушением контроля целостности (КЦ) в различных компонентах виртуальной инфраструктуры:
На серверах ESX (папка /opt/vgate)
На сервере авторизации (каталог установки vGate)
На рабочей станции администратора VMware vSphere
На рабочей станции администратора безопасности инфраструктуры vSphere
Кстати, на компьютерах внешнего периметра сети администрирования (то есть рабочих станциях с vSphere Client), на которых установлен агент аутентификации, сообщения хранятся локально в журнале при
ложений Windows (Application Event Log). Для их просмотра (локально или удаленно) можно использовать Windows Event Viewer.
В этом документе вы найдете полное описание событий ИБ на хостах VMware ESX / ESXi, которые регистрирует vGate 2.
В заключение скажем, что vGate 2 имеет возможность интеграции с SIEM-системами, если таковые имеются на вашем предприятии. vGate позволяет настроить ведение журнала событий и поддерживает протокол SNMP, что позволит при необходимости перенаправить события из журнала событий vGate на удаленный сервер.
На сайте проекта VMware Labs (о котором мы уже писали), появилась утилита для сохранения иерархии объектов и их конфигурации на VMware vCenter под названием VMware InventorySnapshot.
С помощью InventorySnapshot можно сохранить иерархию и параметры: папок датацентра (Datacenter folders), сами датацентры (datacenters), кластеры VMware HA/DRS и их настройки, пулы ресурсов (resource pools), виртуальные приложения (vApp), иерархию объектов, роли и пермиссии, а также настраиваемые поля объектов (custom fields).
Далее на основании снапшота генерируется PowerCLI скрипт, который потом можно выполнить на любом другом окружении vCenter. Это полезно, например, когда у вас есть тестовое окружение, конфигурацию которого вы хотите перенести в производственную среду на другом vCenter (вручную делать это может оказаться слишком нудным).
Теперь у вас есть полностью бесплатный StarWind iSCSI Target, чтобы создавать хранилища для виртуальных машин на базе существующей Ethernet-инфраструктуры и без каких-либо вложений. Дальше уже можно задуматься о коммерческом издании StarWind CDP или средстве создания отказоустойчивых хранилищ StarWind Enterprise HA.
Новая бесплатная версия StarWind Free Edition позволит вам использовать многие серьезные возможности, которые есть только у коммерческих продуктов:
Любую современную хостовую операционную систему Windows Server для сервера хранилища. Можно использовать локальные диски серверов для создания томов VMFS с поддержкой VMware HA/DRS и других распределенных служб.
Можно создавать хранилища для виртуальных машин VMware vSphere, Microsoft Hyper-V, Citrix XenServer и других систем виртуализации.
Дедупликация данных (с различными размерами блоков). Это позволяет экономить дисковое пространство на системе хранения, убирая дублированные блоки.
Полностью разрешенное лицензией использование хранилищ в производственной среде.
Поддержка! Для бесплатной версии идет basic support plan, что подразумевает поддержку через форум на сайте. Далее можно покупать поддержку по инцидентам, а также переключиться на любое коммерческое издание без дополнительных доплат (в платите только разницу между изданиями).
Caching - в StarWind iSCSI есть хороший механизм кэширования (write-back и write-through), ускоряющий работу виртуальных машин с хранилищами.
Функции VTL (Virtual Tape Library) и репликация по сети WAN доступны как возможность платного обновления на коммерческую версию.
Поддержка возможностей Thin Provisioning в StarWind - ваше хранилище для виртуальных машин (образ виртуального диска) будет расти по мере наполнения его данными.
Мы уже писали о ставших официально известными подробностях о новой версии платформы виртуализации VMware vSphere 5.0. С мной поделились интересной ссылкой на подробное описание новых функций vSphere 5.0, которое сделано, судя по всему, на базе Release Candidate версии продукта.
Поскольку я не нахожусь под действием NDA и не участвую в бета-программе, я могу поделиться с вами основными ключевыми возможностями vSphere 5.0 (приведены лишь ключевые особенности - остальные по ссылке выше):
1. Платформа vSphere 5.0 будет построена только на базе гипервизора ESXi - без возможности установки ESX. Сервер управления VMware vCenter 5.0 будет поддерживать управление хостами ESXi 5.0, ESX/ESXi 4.x и ESX/ESXi 3.5.
2. VMware vSphere Auto Deploy - полная поддержка автоматизированного развертывания хостов ESXi.
3. Новые возможности виртуальных машин - 32 виртуальных процессора (vCPU), 1 TB RAM, 3D-акселерация для поддержки Windows Aero, UEFI virtual BIOS, поддержка устройств USB 3.0 (пока только для Linux-систем и только для проброса через vSphere Web Client - напрямую к хосту нельзя). Устройства USB 2.0 теперь поддерживаются к пробросу в виртуальные машины через vSphere Client или vSphere Web Client.
6. Dynamic Resource Scheduling (DRS) for Storage - эта давно ожидаемая функция платформы виртуализации, которая позволит автоматически выравнивать нагрузку на системы хранения путем динамического перемещения работающих виртуальных машин между хранилищами (сейчас это можно сделать вручную за счет Storage VMotion). Пользователи смогут определять группы Datastor'ов (они зовутся Storage Pods), которые будут использоваться для балансировки по хранилищам на базе их заполненности. Предполагается, что это повысит автоматизацию датацентров. Вроде как присутствует и генерация рекомендаций по балансировке и Initial Placement на базе параметров IO.
7. Policy-driven storage delivery - политики размещения виртуальных машин на хранилищах на базе правил, задаваемых администратором. Это позволит регулировать качество обслуживания систем со стороны хранилищ и автоматически определять наилучшее место хранения виртуальных машин.
8. Файловая система VMFS 5.0.
9. Accelerator - новая технология кэширования данных виртуальных ПК для VMware View, увеличивающая их производительность.
10. Полный контроль за iSCSI адаптерами (программными и аппаратными) из графического интерфейса.
12. Swap to SSD - для хранилищ администратор будет назначать тэги, наиболее производительные хранилища SSD будет рекомендовано использовать для хранения swap-файлов в целях ускорения быстродействия.
13. Поддержка LUN для VMFS томов размером более 2 ТБ.
14. Поддержка технологии Storage vMotion для виртуальных машин со снапшотами.
15. Enhanced Network I/O Control (на уровне виртуальных машин) - эта возможность будет позволять резервировать часть канала для приоритетных задач в кластере HA/DRS на случай его перегрузки. Актуально это будет для сетей 10G, где канал шире, а вот физических адаптеров значительно меньше.
16. ESXi Firewal - новый сетевой экран с фильтрами по диапазонам IP для каждой службы.
17. vSphere Web Client на базе технологии Adobe Flex с большим спектром возможностей. Старый vSphere Client под Windows также останется.
18. vCenter Server Appliance - виртуальный модуль на базе Linux с предустановленной службой vCenter. О CTP-версии данного продукта мы уже писали.
19. Enhanced logging support - поддержка логирования на удаленные серверы, в том числе на несколько серверов от одного источника по безопасному каналу SSL. Для vSphere Client будет плагин vSphere syslog listener, который позволит настраивать данную функциональность.
20. Fault Domain Manager - специализированный модуль управления высокой доступностью VMware HA, который еще больше увеличивает уровень доступности виртуальных машин. Кроме того, теперь все хост-серверы VMware ESXi в кластере являются первичными узлами (primary nodes) - то есть кластер HA переживет любое число отказов.
21. Host-based replication for Site Recovery Manager - возможность репликации виртуальных машин на уровне хостов а не SAN-хранилищ (как делается сейчас). То есть, поддержка технологии репликации со стороны СХД будет не нужна, репликация будет работать в асинхронном режиме со стороны хост-серверов. По-сути, это аналог репликации виртуальных машин в продукте Veeam Backup and Replication 5, которая сейчас активно используется в производственной среде многими компаниями для защиты данных виртуальных машин и наиболее быстрого восстановления работоспособности сервисов (показатели RTO).
Выход VMware vSphere 5.0 запланирован на второе полугодие 2011 года. Но скорее всего пятая версия платформы выйдет до VMworld 2011, который начнется 29 августа.
Естественно, информация неофициальная и список новых возможностей VMware vSphere 5.0 может быть изменен в любой момент. Но вот что будет точно - так это отсутствие гипервизора ESX - так что всем организациям пора задуматься о плане перехода на "тонкую" платформу ESXi 5.0.
Механизм VMware High Availability (HA) в VMware vSphere позволяет автоматически перезапустить виртуальные машины отказавшего сервера в кластере с общего хранилища в случае сбоя. При настройке кластера VMware HA можно использовать несколько расширенных настроек (HA Advanced Settings), которые позволяют настроить его работу наиболее гибко.
Таги: VMware, HA, ESX, ESXi, Bugs, vSphere, VI, VMachines, Обучение
Как вы знаете, в механизме высокой доступности VMware High Availability (HA) есть такая настройка как Isolation Responce, которая определяет, какое событие следует выполнить хосту VMware ESX / ESXi в случае наступления события изоляции для него в кластере (когда он не получает сигналов доступности - Heartbeats - от других хост-серверов).
Leave powered on
Power off
Shutdown
Сделано это для того, чтобы вы могли выбрать наиболее вероятное событие в вашей инфраструктуре:
Если наиболее вероятно что хост ESX отвалится от общей сети, но сохранит коммуникацию с системой хранения, то лучше выставить Power off или Shutdown, чтобы он мог погасить виртуальную машину, а остальные хосты перезапустили бы его машину с общего хранилища после очистки локов на томе VMFS или NFS (вот кстати, что происходит при отваливании хранища).
Если вы думаете, что наиболее вероятно, что выйдет из строя сеть сигналов доступности (например, в ней нет избыточности), а сеть виртуальных машин будет функционировать правильно (там несколько адаптеров) - ставьте Leave powered on.
Но есть еще один момент. Как вам известно, VMware HA тесно интегрирована с технологией VMware Fault Tolerance (непрерывная доступность ВМ, даже в случае выхода физического сервера из строя). Суть интеграции такова - если хост с основной виртуальной машиной выходит из строя, то резервный хост выводит работающую резервную ВМ на себе "из тени" (она становится основной), а VMware HA презапускает копию этой машины на одном из оставшихся хостов, которая становится резервной.
Так вот настройка Isolation Responce не применяется к машинам, защищенным с помощью Fault Tolearance. То есть, если хост VMware ESX с такой машиной становится изолированным, при настройке Power off или Shutdown он такую машину не гасит, а всегда оставляет включенной.
Рекомендация - иметь network redundancy для сети heartbeats. Не должен хост себя чувствовать изолированным, если он весь не сломался.
Как вы знаете в последнем релизе платформы виртуализации VMware vSphere 4.1 было заявлено множество новых возможностей. Одна из них весьма важна с точки зрения производительности в части работы виртуальных машин с системой хранения. Эта технология называется VMware vSphere VAAI, то есть vStorage API for Array Integration.
Итак, что такое VMware vSphere VAAI. Это комплекс технологий компании VMware, разработанный в сотрудничестве с производителями дисковых массивов (потому и API), предназначенный для передачи некоторых операций виртуальных машин по работе с дисками на сторону массива. В этом случае хост-сервер виртуализации VMware ESX / ESXi при выполнении стандартных процедур в среде виртуализации при работе ВМ с дисковой подсистемой просто дает команду массиву (или массивам) сделать определенные действия, при этом сам хост не гонит через себя все те данные и команды, которые он раньше был вынужден прогонять. То есть, это - Hardware Offloading операций с СХД.
Ну а раз это аппаратно-зависимая вещь, то это означает, что сам массив должен в своем Firmware поддерживать vSphere VAAI (у которой еще бывает несколько видов - так называемые "примитивы"). Чтобы узнать поддерживает ли ваш хост VAAI нужно пойти в VMware Hardware Compatibility Guide и поискать свой дисковый массив в категории "Storage/SAN". Там все сделано несколько криво, но нужно искать в Supported Releases следующую сноску:
VAAI primitives "Full Copy", "Block Zeroing" and "Hardware Assisted Locking" are supported with vmw_vaaip_xxx plug-in
xxx - это идентификатор плагина от VMware
Ну и, конечно, ваш хост VMware ESX / ESXi должен быть версии 4.1 или выше. И помните, что на некоторых массивах VAAI по умолчанию выключена, поэтому вам нужно почитать документацию о том, как ее включить. Кроме того, функциональность VMware vSphere VAAI есть только в изданиях VMware vSphere Enterprise и Enterprise Plus (см. сравнение изданий).
Теперь, какие примитивы (то есть типовые операции с СХД) реализует VMware vSphere VAAI:
Full Copy / Clone Blocks / XCOPY – функция, позволяющая передать на сторону массива возможности копирования объектов виртуальной инфраструктуры без задействования операций четния-записи со стороны сервера VMware ESX 4.1. Эту функцию также называют Hardware Offloaded Copy и SAN Data Copy Offloading.
Write Same / Zero Blocks – возможность обнуления больших массивов блоков на дисковых устройствах для быстрого создания дисков vmdk типа eager zero thick.
Atomic Test and Set (ATS) –возможность защиты метаданных тома VMFS как кластерной файловой системы в ситуациях, когда большое количество хостов ESX имеют разделяемый доступ к одному хранилищу. Также эта функция называется Hardware Assisted Locking.
Давайте рассмотрим как эти компоненты VAAI работают и для чего они нужны.
Full Copy
Используя этот примитив, дисковый массив по команде VMware vSphere осуществляет копирование виртуальной машины (а самое главное для нас копирование диска VMDK) без участия сервера ESX / ESXi и его стека работы с подсистемой хранения (соответственно, не гоняется трафик и не дается нагрузка на CPU). В этом случае гипервизор рассказывает хранилищу, какие блоки занимает виртуальная машина, а оно уже делает все остальное по копированию блоков.
Виртуальная машина может копироваться как в пределах одного хранилища, так и между двумя массивами, если они поддерживают функциональность XCopy. Наиболее интересный способ применения данной техники - это массовое развертывание виртуальных машин из шаблонов, которое больше всего востребовано в VDI-инсталляциях (например, в решении для виртуализации корпоративных ПК предприятия VMware View 4.5).
Еще один важный аспект применения - операция Storage vMotion, которая требует копирования виртуальных дисков машины.
С vSphere VAAI операции по копированию блоков данных хранилищ виртуальных машин занимают меньше времени (в некоторых случаях оно сокращается на 95%):
Ну а вот такие результаты нам выдает Storage vMotion:
Кроме того, данная технология интегрирована и с функциональностью "тонких" (thin) дисков как самой VMware, так и механизмом Thin Provisioning сторонних вендоров.
Write Same / Zero Blocks
За счет этой технологии сервер VMware ESX / ESXi может дать команду хранилищу обнулить блоки виртуальных дисков типа Eager zeroed thick (см. типы дисков). Эти диски являются самыми безопасными (блоки чистятся при создании) и самыми производительными (при обращении к блоку его не надо обнулять и тратить ресурсы), но занимали очень много времени на их создание. Теперь с техникой VAAI этот процесс сильно ускоряется, что позволяет использовать диски eagerzeroedthick чаще (например, для машин с включенной Fault Tolerance). Напомню, что сейчас по умолчанию в VMware vSphere создаются диски типа Zeroed thick disks.
Теперь одинаковые команды ввода-вывода на сторадж от сервера ESX / ESXi дедуплицируются, а массиву дается команда на повторение одинаковых команд для разных блоков. На эту тему есть отдельное видео:
Atomic Test and Set (ATS) или Hardware Assisted Locking
За счет этой техники vSphere VAAI существенно уменьшается число операций с хранилищем, связанных с блокировкой LUN на системе хранения. Как вы знаете, при работае виртуальных машин возникают конфликты SCSI Reservations, связанные с тем, что некоторые операции вызывают блокировку всего LUN для обновления метаданных тома VMFS. Операций этих много: запуск виртуальной машины (обновляется lock и создаются файлы), развертывание новой ВМ, создание снапшота, миграция vMotion и т.п.
Нехорошо также, что при использовании тонких дисков (например для связанных клонов VMware View) также происходит блокировка LUN при выделении нового блока растущему диску (надо обновлять метаданные - см. тут). Это, прежде всего, приводит к тому, что возникает ограничение на количество размещаемых на LUN виртуальных машин, чтобы конфликтов SCSI Reservations не было слишком много.
Теперь же, за счет VAAI, эти операции передаются на сторону дискового массива, который при необходимости обновить метаданные тома не блокирует весь LUN, а лочит только секторы метаданных, которые требуется обновить. Все это делается массивом безопасно и надежно. Отсюда вытекает уменьшение числа конфликтов SCSI Reservations и ,как следствие, лучшая производительность и увеличения числа ВМ на LUN.
Ограничения VMware vSphere VAAI
Недавно мы писали про Data Mover'ы - это компоненты VMware ESX / ESXi, отвечающие за работу хост-сервера с хранилищами при копировании данных. Поддержкой VAAI заведует компонент fs3dm – hardware offload. Он пока еще молодой, поэтому не поддерживает некоторых сценариев использования. Соответственно все или некоторые техники VAAI у вас не будут работать в следующих случаях:
Исходный и целевой тома VMFST имеют разные размеры блоков
Исходный файл лежит на том RDM, а целевое хранилище - это не том RDM
Исходный тип диска VMDK - это eagerzeroedthick, а целевой - thin
Исходный или целевой тип диска VMDK VMDK - один из типов sparse или hosted (не платформа vSphere)
Исходная виртуальная машина имеет снапшот
Блоки хранилища, где лежит виртуальная машина не выровнены (по умолчанию vSphere Client выравнивает блоки автоматически)
Как включить VMware vSphere VAAI
Как уже было сказано выше, со стороны хранилищ VAAI может быть выключена и нужно почитать документацию на СХД. На хостах ESX / ESXi по умолчанию VAAI включена. Проверить это можно, перейдя в Configuration > Advanced Settings и увидев следующие параметры, напротив которых стоят единицы:
DataMover/HardwareAcceleratedMove (это возможности Full Copy)
DataMover/HardwareAcceleratedInit (это Zero Block)
Если ваше хранилище не поддерживает VAAI - ничего страшного, хост ESX / ESXi будет работать софтовыми дедовскими методами.
Как проверить, работает ли vSphere VAAI?
Очень просто, откройте категорию Storage на вкладке Configuration в vSphere Client и посмотрите в последний столбик.
Статус Unknown означает, что хост еще не обращался к операциям, которые поддерживаются VAAI (то есть, это дефолтный статус). Если вы сделаете какую-нибудь операцию с VAAI (например, Copy/Paste виртуального диска больше 4 МБ), то VAAI попробует отработать. Если он отработает успешно - выставится статус Supported, ну а если нет - то Not Supported.
Опросить стораджи можно также из командной строки:
Вне зависимости от издания VMware ESXi 4.1 (будь то бесплатная версия, или лицензия Enterprise Plus), доступна функция Configuration-Software=-Virtual Machine Startup/Shutdown (рис.1), которая позволяет отработать ситуацию с выключением питания на физическом сервере и автоматически запускает виртуальные машины... Таги: VMware, VMachines, vSphere, Script, Blogs, HA
Многим из вас уже известно средство создания отказоустойчивых хранилищ для серверов VMware vSphere - StarWind Enterprise HA. Оно позволяет при минимальных вложениях создать инфраструктуру хранения данных для виртуальных машин на базе обычного Windows-сервера посредством технологии iSCSI и защитить ее от сбоев со стороны систем хранения (локальные диски серверов или общие хранилища).
Сегодня я хочу поговорить об экономической стороне дела. Не все организации из сектора среднего и малого бизнеса могут позволить себе дорогостоящие хранилища HP или EMC (и их дублирование!), при этом для некоторых сервисов очень важна высокая доступность на всех уровнях от сервера до хранилища. То есть они не могут простаивать ни минуты.
В VMware vSphere есть механизм защиты от сбоев серверов - VMware HA, который перезапустит виртуальную машину отказавшего или выпавшего из сети сервера на других серверах кластера. А вот как быть с хранилищами? Можно использовать StarWind iSCSI Target для создания VMFS-тома на локальном хранилище одного из физических серверов (или прицепленного к нему тома общего хранилища) - но это не убережет от сбоев. Можно использовать кластер StarWind Enterprise HA из двух серверов - тогда конфигурация будет отказоустойчивой со стороны хранилищ, но потребуются деньги на эти 2 сервера.
Некоторые организации нашли выход - они размещают виртуальные машины с установленным в них StarWind Enterprise HA на разных хостах ESX в кластере VMware HA и делают между этими ВМ кластер StarWind. Сами виртуальные машины со StarWind (с большими виртуальными дисками) лежат на разных физических хранилищах (например, это могут быть локальные диски каждого из хостов ESX).
Такая конфигурация, безусловно, дает некоторое падение производительности при работе с дисками - поскольку есть несколько уровней виртуализации хранилищ, но зато позволяет вообще без вложений обеспечить отказоустойчивость на уровне системы хранения. Тем более, что, например, локальные диски хостов ESX в этом случае работают достаточно быстро.
Если один хост ESX откажет - не беда его виртуальные машины автоматически перезапустятся с помощью VMware HA на другом хосте, а данные ВМ будут доступны со второго узла. Понятно, что на таких хранилищах можно держать не все виртуальные машины, а только те, за которые особенно страшно. Есть такие клиенты у StarWind, которые таким образом обеспечивают Server HA и Storage HA - и всем довольны.
И кстати - через какое-то время у StarWind будет VSA (Virtual Storage Appliance), который будет представлять собой такую вот виртуальную машину, используемую как хранилище, но на базе какого-нибудь Linux, а значит не придется тратить деньги на лицензию Microsoft Windows.
Пробную версию StarWind Enterprise HA можно скачать по этой ссылке.
Таги: StarWind, HA, Storage, vSphere, ESX, iSCSI, SMB, VMachines
Интересную возможность управления кластером высокой доступности VMware HA демонстрирует Duncan Epping. Если в сервисной консоли VMware ESX ввести команду:
/opt/vmware/aam/bin/Cli
а потом набрать команду:
ln
то мы увидим вот такую картинку:
В колонке Type мы видим значение Primary - это тип узла кластера VMware HA (всего может быть 5 Primary узлов, соответственно виртуальная инфраструктура гарантированно выдерживает до 4-х отказов включительно). Далее можно превратить Primary-ноду в Secondary:
Технология VMware Fault Tolerance позволяет защитить виртуальные машины с помощью кластеров непрерывной доступности, позволяющих в случае отказа хоста с основной виртуальной машиной мгновенно переключиться на ее "теневую" работющую копию на другом сервере ESX. Однако эта технология имеет существенные ограничения, приведенные ниже. Таги: VMware, Fault Tolerance, FT, vSphere, ESX, DRS, DPM, HA, Enterprise
Как вы знаете, в VMware vSphere 4.1 механизм VMware DRS, осуществляющий балансировку нагрузки на хост-серверы ESX, теперь интегрирован с технологией непрерывной доступности VMware Faut Tolerance.
То есть DRS автоматически распределяет по хост-серверам и FT-машины, однако тут есть небольшой нюанс. В соответствии с рекомендациями Fault Tolerance, число таких машин на хосте должно быть не больше 4-х в целях оптимального быстродействия. Если вы попробуете смигрировать пятую виртуальную машину с включенной технологией FT на хост, вы получите вот такое сообщение:
Host already has the recommended number of 4 Fault Tolerance VMs running on it
То есть DRS не смигрирует и не сделает Initial Placement для FT-машин на хосты VMware ESX, где уже работают 4 таких ВМ. Однако, есть возможность увеличить это количество. Для этого необходимо в расширенных настройках (Advanced Settings) кластера VMware HA/DRS добавить параметр:
das.maxftvmsperhost
со значением, например, 6. Если вы поставите значение 0, то VMware DRS будет полностью игнорировать данное требование к числу FT-машин на хост.
Как уже много писали об этом ранее, одной из проблем механизма отказоустойчивости VMware HA является его потенциальное не срабатывание в окружениях, где одновременно отказывает более 4-х хостов в кластере (например, на уровне блейд-корзины), когда не доступны все 5 primary-узлов. В этом случае есть риск, что виртуальные машины не перезапустятся на оставшихся хост-северах.
В VMware vSphere 4.1 появилась возможность явным образом указать, какие узлы в кластере VMware HA будут являться Primary:
Можно использовать в качестве разделителя пробел или запятую.
Эти настройки необходимо указывать в расширенных свойствах кластера VMware HA (Advanced Settings). Обращаю внимание, что хоть эти настройки и не являются experimental, они являются неподдерживаемыми со стороны VMware и не рекомендуются к использованию в промышленной среде. Кстати, скоро кластер VMware HA будет переживать сколько угодно отказов хостов ESX / ESXi.
Компания VMware официально объявила о выпуске новой версии платформы виртуализации VMware vSphere 4.1 13 июля 2010 года. Это существенное обновление компонентов пакета, включая серверы виртуализации VMware ESX 4.1 и средство управления хост-серверами и виртуальными машинами VMware vCenter 4.1.
Как многие знают, недавно компания VMware выпустила обновление продукта VMware vSphere 4.0 Update 2. Среди прочих нововведений есть также улучшения механизма VMware HA для отказоустойчивости серверов VMware ESX. Одно из улучшений - решение проблемы Split Brain в кластере HA, которое заключалось в следующем:
Если у вас есть несколько хостов ESX, подключенных к IP-системе хранения iSCSI / NFS, а для виртуальных машин выставлено действие Leave Powered On для Isolation Responce (по умолчанию), то при отключении хоста от всех сетей (IP Storage и VM Network) процессы VMX, реализующие исполнение виртуальных машин оставались в памяти.
При этом, по истечении срока действия лочек VMware HA, остальные хост-серверы ESX запускали эти виртуальные машины. Когда соединение выпавшего хоста с сетью и хранилищем восстанавливалось - процессы продолжали жить, что приводило к так-называемому "пинг-понгу" виртуальных машин между хостами ESX и всяким глюкам.
Теперь же, начиная с VMware vSphere 4.0 Update 2 эта ситуация решается - хост ESX выключает виртуальную машину и генерирует соответствующее событие в vCenter.
Команды esxtop и resxtop теперь показывают информацию и по NAS/NFS-хранилищам
Поддержка технологии Fault Tolerance (FT) для процессоров Intel Xeon 3400, Xeon 5600 и i3/i5 CPU
Поддержка модуля IOMMU для процессоров AMD Opteron 6100 и 4100
Довольно сильно оптимизирована работа со снапшотами (удаление, создание)
Поддержка гостевой ОС Ubuntu 10.04
Исправлена ошибка в реализации round robin в модуле PSP
Исправлена ошибка при доступе по нескольким путям через software iSCSI initiator к некоторым массивам (например, CLARiiON)
Улучшена работа VMware HA с распределенным коммутатором dvSwitch и механизмом Fault Tolerance
Очень много исправлений и мелких улучшений
Сам же VMware vCenter 4.0 Update 2, кроме различных исправлений, содержит возможности конфигурации автоматизированного развертывания следующих гостевых ОС (то, что для Windows называлось Sysprep):
Windows XP Professional SP2 (x64) serviced by Windows Server 2003 SP2
SLES 10 SP3 and 11 (x32/x64 bit)
RHEL 4.8, 5.4 and 5.5 Server Platform (x32/x64 bit)
Debian 5.0, 5.0 R1 and 5.0 R2 (x32/x64 bit)
Продукт VMware vCenter Update Manager 4.0 Update 2 теперь стал быстрее и надежнее работать в низкоскоростных сетях с большими задержками (WAN).
Скачать обновление VMware vSphere 4.0 Update 2 можно по этой ссылке. Напоминаем, что уже известен список возможностей VMware vSphere 4.1, платформы, которая (вероятнее всего) будет представлена на конференции VMworld 2010 в сентябре этого года.
Из всех проблем, создаваемых технологиями виртуализации, настоящей проблемой я считаю только безопасность виртуальной инфраструктуры. Неудивительно, ведь по статистике Gartner, 60% всех развертываемых виртуальных машин к 2012 году будут менее защищенными, чем их физические "коллеги". В итоге - компании достаточно быстро внедряют технологии виртуализации, но очень мало уделяют аспектам безопасности виртуальных машин, хост-серверов и средств управления.
Большинству пользователей виртуальной инфраструктуры VMware vSphere известны такие параметры как Limit, Reservation и Shares для пулов ресурсов (Resource Pool) в пределах кластеров VMware DRS и отельных хостов ESX. Именно этими тремя параметрами определяется потребление виртуальными машинами оперативной памяти и процессорных ресурсов хоста VMware ESX. Таги: VMware, vSphere, Resources, ESX, HA, DRS
Мы уже писали о бесплатном веб-инструменте VMware Go (здесь и здесь), который позволяет пользователям начать использовать бесплатный гипервизор VMware ESXi для виртуализации физических серверов в небольшой компании. Средство VMware Go является абсолютно бесплатным как и VMware ESXi инструментом, направляющим весь процесс развертывания платформы виртуализации, ее конфигурации и P2V-миграции виртуальных машин.
Это то первое, что вам необходимо попробовать, если у вас нет инфраструктуры виртуализации VMware, но вы хотите добиться экономии на консолидации базовых инфраструктурных сервисов.
Чтобы начать использовать VMware Go, вам необходимо перейти по адресу: http://go.vmware.com/:
Если у вас уже есть логин на сайте VMware, то вводим его, если нет - регистрируемся. После входа в панель VMware Go вы увидите следующее:
Здесь вам нужно установить агент VMware Go на ваш компьютер, с которого вы будете управлять сервером VMware ESXi. Как видно, требуется также установить .Net Framework 3.5 SP1. Нажимаем кнопку Install Now.
Механизм VMware High Availability (HA) в VMware vSphere позволяет перезапустить виртуальные машины отказавшего хост-сервера VMware ESX на другом сервере кластера с общего хранилища. Однако, что будет, если один из узлов кластера не сможет запустить виртуальную машину (например, она продолжает работать на изолированном хосте)?
Ответ прост, VMware HA пробует запустить виртуальную машину 5 раз в следующем порядке:
В Advanced Settings для VMware HA может быть добавлен следующий параметр, определяющий число попыток рестарта виртуальных машин (недокументированная возможность):
das.maxvmrestartcount
Если поставить -1, VMware HA будет постоянно пытаться запустить виртуальные машины. Для применения настройки нужно выключить HA в кластере и включить его снова.
Функциям высокой доступности VMware High Availability (HA) уже без малого 4 года. Возможности VMware HA позволяют повысить отказоустойчивость виртуальной инфраструктуры и сделать более непрерывным бизнес компании. Суть возможностей VMware HA заключается в перезапуске виртуальной машины отказавшего сервера VMware ESX с общего хранилища (собственно, сам VMware HA), а также рестарте зависшей виртуальной машины на сервере при потере сигнала от VMware Tools (VM Monitoring).
Между тем, функции VMware HA имеют следующие ограничения:
Хостов в кластере VMware HA - максимально 32 хоста
Виртуальных машин на хост с числом хостов VMware ESX 8 и менее - масимально 100
Виртуальных машин на хост с числом хостов VMware ESX 8 и менее для vSphere 4.0 Update 1 - масимально 160
Виртуальных машин на хост с числом хостов VMware ESX 9 и более - масимально 40
Как мы видим, для крупных инсталляций VMware vSphere в очень больших компаниях даже этих максимумов может не хватить. Поэтому одна из задач компании VMware - увеличивать эти параметры, что и было уже ранее анонсировано в различных дорожных картах.
Второй интересный момент - функции мониторинга доступности гостевой ОС виртуальной машины - VM Monitoring. Если вы откроете vSphere Client и попробуете создать кластер VMware HA, вы увидите, что по умолчанию функции мониторинга доступности - отключены. Как известно, возможности VM Monitoring довольно долго были в статусе experimental, но сегодня они уже доступны для промышленного использования. Однако VMware пока не спешит их ставить по умолчанию - неудивительно, ведь пользователи не раз сталкивались с ситуацией, когда VM Monitoring на ранних этапах своего развития давал сбой и попусту перезагружал виртуальные машины. Здесь задача VMware состоит в техническом усовершенствовании возможностей VM Monitoring, а также постепенное завоевание доверия пользователей.
Следующий аспект - число отказов, которые может пережить кластер VMware HA. Сейчас в кластере HA может быть только 5 primary хостов ESX, чего явно недостаточно для создания катастрофоустойчивого решения на уровне блейдового шасси (его можно назвать possible failure domain). Кроме того, на данный момент нет прозрачного механизма назначения хостов как primary или secondary (например, закрепить primary ноду), что тоже вызывает иногда проблемы. В этом плане компания VMware уже прилагает усилия, чтобы сделать такие кластеры VMware HA, которые будут переживать неограниченное число отказов хостов VMware ESX.
Последний момент - территориальное ограничение кластеров VMware HA. Пользователи VMware vSphere хотят больше функциональности от кластеров, которые должны вести "более подобно" VMware SRM и в полной мере позволять использовать disaster recovery площадку (второй датацентр) для создания "растянутого" кластера. То есть что-то вроде этого:
И это будет! Более подробно о таких кластерах VMware HA и SRM можно прочитать вот в этой статье.
Hany Michael, автор портала Hypervizor.com, опубликовал интересную диаграмму работы механизма обеспечения отказоустойчивости VMware High Availability. На картинке отмечены такие элементы как HA Advanced Settings, HA VM Monitoring, параметры Heartbeats и пинга шлюза, диагностика кластера и конфигурационная информация. Неплохой плакат для системных администраторов, отвечающих за работу кластера VMware HA:
Андрей Вахитов (vmind.ru) в своем блоге разместил просочившуюся информацию о новой функциональности готовящегося к выпуску релиза платформы виртуализации VMware vSphere 4.1, включая ESX 4.1 и vCenter 4.1.
Приблизительный список основных новых возможностей VMware vSphere 4.1:
Поддержка развертывания тонкого гипервизора VMware ESXi по PXE.
Контроль обмена трафиком с системой хранения Storage I/O Control в стиле QoS.
Network I/O Traffic Management - более гибкое регулирование полосы пропускания сетевого взаимодействия виртуальных машин (в том числе сети VMotion, Fault Tolerance).
VMware HA Healthcheck Status - автоматическая проверка работоспособности VMware HA, при этом в случае отклонения настроек кластера от требуемых выдается Alarm в VMware vCenter.
Fault Tolerance (FT) Enhancements - теперь FT полностью интегрирован с VMware DRS, работает в кластерах EVC, а первичные и вторичные виртуальные машины корректно балансируются DRS. Кроме того, VMware FT может теперь работать без VMware HA.
vCenter Converter Hyper-V Import - можно импортировать виртуальную машину на ESX с сервера Hyper-V
DRS Virtual Machine Host Affinity Rules - возможность запрещать некоторые хосты к размещению на них ВМ. Пригодится для соблюдения лицензионной политики.
Memory Compression - новый уровень абстракции оперативной памяти ВМ. Быстрее чем засвопированная на диск память, но медленнее, чем физическая.
vMotion Enhancements - теперь VMotion работает быстрее (до 8 раз), и увеличено число одновременных миграций ВМ на хосте (с 4 до 8).
8GB Fibre Channel Support
ESXi Active Directory Integration - теперь ESXi можно загнать в AD.
Configuring USB Device Passthrough from an ESX/ESXi Host to a Virtual Machine - поддержка USB-устройств на хосте ESX / ESXi, пробрасываемых к виртуальной машине.
User-configurable Number of Virtual CPUs per Virtual Socket - по-сути, многоядерные (не путать с многопроцессорными) виртуальные машины. Несколько виртуальных ядер в одном виртуальном vCPU.
На сайте Virtu-Al.net коллега Alan Renouf выложил бесплатный скрипт vCheck, предназначенный для сбора информации о виртуальной инфраструктуре VMware vSphere 4, хостах ESX и vCenter. Для запуска скрипта потребуется использовать интерфейсVMware vSphere PowerCLI. Результатом работы скрипта будет следующая информация:
Основное
Число хостов ESX
Число виртуальных машин
Число шаблонов
Число кластеров
Число виртуальных хранилищ (Datastores)
Число запущенных (активных) виртуальных машин
Число остановленных виртуальных машин
Количество миграций DRS за последние несколько дней
Снапшоты, которые старше, чем заданное количество дней
Виртуальные хранилища (Datastores) с менее, чем заданным процентом свободного пространства
Виртуальные машины, созданные за последние X дней
Виртуальные машины, удаленные за последние X дней
Виртуальные машины без VMware Tools
Виртуальные машины с подключенным CD-ROM
Виртуальные машины с подключенным Floppy Drive
Виртуальные машины на локальных хранилищах
Виртуальные машины, где счетчик CPU ready превышает X%
Виртуальные машины, у которых число vCPU превышает заданное количество
Список миграций DRS
Хосты ESX в Maintenance Mode
Хосты ESX в состоянии disconnected
Проверка NTP-сервера по заданному имени
Сообщения лога vmkernel warning за последние X дней
Сообщения лога vCenter за последний X дней
Сообщения лога vCenter (Windows Event Log Errors) за последние X дней
Детали сервиса VMware vCenter Service
В начале скрипта можно выключить не требующиеся секции отчета
Активные тревоги, привязанные к ВМ
Активные тревоги, привязанные к кластеру
Активные тревоги, привязанные к хосту ESX
Недоступные iSCSI LUN
Проверка vSphere: размеры слотов для VMware HA
Проверка vSphere: устаревшая версия виртуального Hardware (меньше версии 7)
Если при установке VMware vSphere / ESX 4 на сервер, где раньше был установлен VMware ESX 3.5, вы получаете вот такую ошибку:
Booting: MBI=0x000100d8, entry=0x00100212
а экран программы установки VMware ESX 4 выглядит таким образом:
это значит, что процессор (CPU) сервера является 32-битным. Соответственно, VMware ESX 4 туда установить не получится. ESX 4, в отличие от ESX 3.5, имеет жесткое ограничение по физическому процессору, который обязательно должен быть 64-битным. Чтобы проверить свой сервер на соответствие требованиям VMware ESX 4 используйте VMware Hardware Compatibility List.
Великий Duncanподнял очередную болезненную тему для VMware vSphere. У них (VMware) есть заказчик, у которого 5 хостов VMware ESX в кластере VMware DRS. Вечером, когда нагрузка на хосты ESX спадает, 4 из них переходят в standby режим (делает это механизм Distributed Power Management), остается один хост на котором сервер vCenter, работающий в виртуальной машине.
Если этот единственный хост VMware ESX погибает - вся инфраструктура остается выключенной, поскольку некому вывести остальные хосты из standby и перезапустить vCenter. Все это потому, что Admission Control в настройках кластера VMware HA выключен и отказоустойчивость кластера не гарантирована. То есть это не баг - а фича. Но...
Компания VMware предлагает пользователям начать виртуализацию серверов с бесплатной платформы VMware ESXi, которая обладает базовыми возможностями для консолидации серверов. Мало того, компания VMware прекратит поддерживать классический VMware ESX в будущем и все последующие версии VMware vSphere будут основаны на тонком гипервизоре VMware ESXi. Таги: VMware, ESXi, vSphere, ESX, VMachines
Одно из преимуществ VMware vSphere - наличие распределенной кластерной файловой системы VMFS, которая оптимизирована для работы в кластере VMware HA / DRS с большими файлами виртуальных дисков VMDK. Для того чтобы обеспечивать работу кластеров, файловая система VMFS имеет механизм обработки распределенной блокировки файлов хостами VMware ESX (Distributed Lock Handling). Это очень важный механизм для корректной работы механизма обеспечения отказоустойчивости VMware HA.
RSS
